Preference-aware Influence-function-based Data Selection Method for Efficient Fine-Tuning
偏好感知影响函数引导的高效微调数据选择
🧭 数据选择 · 影响函数 · 偏好感知 ★ 深度解读
Shanghai Artificial Intelligence Laboratory
利用当前模型对目标示例的偏好加权构造目标方向，通过影响函数评分选择最有价值样本，提升微调数据效率
📌 工作参考价值（4 点）
- 在生成式推荐微调中，可用当前推荐模型对目标行为的响应概率作为权重，聚焦模型“附近”的高价值样本，避免均匀聚合造成的方向偏差。
- 影响函数评分公式 $s(z) = g_z^\top H_{\lambda}^{-1} g_{\text{KL}}$ 可直接嵌入现有微调流水线，配合 LoRA 等高效更新计算梯度，用于预算有限下的训练样本选择。
- 安全修复场景下，该方法能有效识别并移除导致有害行为的微调数据，可迁移到电商内容审核或多智体行为对齐中的训练数据清洗。
- 理论保证了一阶最优性：选择偏好加权方向下的 Top-$m$ 样本能最大化目标行为偏好的局部提升，为策略提供可靠依据。